我们开发了一种从2D RGB图像生成3D手网格的旋转等级模型。这保证了当手的输入图像旋转时，所生成的网格经历相应的旋转。此外，这消除了经常通过无旋转标准天例的方法产生的网格中的不希望的变形。通过构建旋转等级模型，通过考虑问题的对称性，我们减少了对非常大的数据集训练的需求，以实现良好的网格重建。编码器在$ \ mathbb {z} ^ {2} $上定义的图像，并将这些映射到组$ c_ {8} $上定义的潜在函数。我们介绍了一种新颖的向量映射函数来将以$ c_ {8} $定义的函数映射到组$ \ mathrm {so}（2）$上定义的潜在点云空间。此外，我们介绍了一种3D投影函数，它从$ \ mathrm {so}（2）$潜空间中学习3D功能。最后，我们使用$ \ mathrm {so}（3）$ arifariant解码器，以确保旋转标准。我们的旋转设备模型优于现实世界数据集的最先进方法，我们证明它可以准确地捕获在输入手的旋转下产生的网格中的形状和姿势。
translated by 谷歌翻译
我们提出CPT：卷积点变压器 - 一种用于处理3D点云数据的非结构化性质的新型深度学习架构。 CPT是对现有关注的卷曲神经网络以及以前的3D点云处理变压器的改进。由于其在创建基于新颖的基于注意力的点集合嵌入通过制作用于处理动态局部点设定的邻域的卷积投影层的嵌入来实现这一壮举。结果点设置嵌入对输入点的排列是强大的。我们的小说CPT块在网络结构中通过动态图计算获得的本地邻居构建。它是完全可差异的，可以像卷积层一样堆叠，以学习点的全局属性。我们评估我们的模型在ModelNet40，ShapEnet部分分割和S3DIS 3D室内场景语义分割数据集等标准基准数据集上，以显示我们的模型可以用作各种点云处理任务的有效骨干，与现有状态相比 - 艺术方法。
translated by 谷歌翻译
从公共机器学习（ML）模型中泄漏数据是一个越来越重要的领域，因为ML的商业和政府应用可以利用多个数据源，可能包括用户和客户的敏感数据。我们对几个方面的当代进步进行了全面的调查，涵盖了非自愿数据泄漏，这对ML模型很自然，潜在的恶毒泄漏是由隐私攻击引起的，以及目前可用的防御机制。我们专注于推理时间泄漏，这是公开可用模型的最可能场景。我们首先在不同的数据，任务和模型体系结构的背景下讨论什么是泄漏。然后，我们提出了跨非自愿和恶意泄漏的分类法，可用的防御措施，然后进行当前可用的评估指标和应用。我们以杰出的挑战和开放性的问题结束，概述了一些有希望的未来研究方向。
translated by 谷歌翻译
We present Masked Audio-Video Learners (MAViL) to train audio-visual representations. Our approach learns with three complementary forms of self-supervision: (1) reconstruction of masked audio and video input data, (2) intra- and inter-modal contrastive learning with masking, and (3) self-training by reconstructing joint audio-video contextualized features learned from the first two objectives. Pre-training with MAViL not only enables the model to perform well in audio-visual classification and retrieval tasks but also improves representations of each modality in isolation, without using information from the other modality for fine-tuning or inference. Empirically, MAViL sets a new state-of-the-art on AudioSet (53.1 mAP) and VGGSound (67.1% accuracy). For the first time, a self-supervised audio-visual model outperforms ones that use external supervision on these benchmarks. Code will be available soon.
translated by 谷歌翻译
Athletes routinely undergo fitness evaluations to evaluate their training progress. Typically, these evaluations require a trained professional who utilizes specialized equipment like force plates. For the assessment, athletes perform drop and squat jumps, and key variables are measured, e.g. velocity, flight time, and time to stabilization, to name a few. However, amateur athletes may not have access to professionals or equipment that can provide these assessments. Here, we investigate the feasibility of estimating key variables using video recordings. We focus on jump velocity as a starting point because it is highly correlated with other key variables and is important for determining posture and lower-limb capacity. We find that velocity can be estimated with a high degree of precision across a range of athletes, with an average R-value of 0.71 (SD = 0.06).
translated by 谷歌翻译
本文描述了对象目标导航任务的框架，该任务要求机器人从随机的启动位置查找并移至目标对象类的最接近实例。该框架使用机器人轨迹的历史记录来学习空间关系图（SRG）和图形卷积网络（GCN）基于基于不同语义标记区域的可能性以及这些区域不同对象类别的发生的可能性。为了在评估过程中定位目标对象实例，机器人使用贝叶斯推理和SRG估计可见区域，并使用学习的GCN嵌入来对可见区域进行排名，并选择接下来的区域。
translated by 谷歌翻译
仔细构建和介绍了一系列包含文本和数字的页面，这些页面是一系列页面，并仔细构建并呈现，以便将知识最佳地转移给学生。先前在多媒体和心理学方面的研究将演讲的有效性归因于其多模式的性质。为了开发AI的一步，以帮助学生学习作为智能教师助理，我们将多模式演讲演示文稿数据集作为大规模的基准测试，以测试机器学习模型在多模式了解教育内容的能力。我们的数据集包含一个对齐的幻灯片和口语，用于180多个小时的视频和9000多个幻灯片，其中10位来自各种主题的讲师（例如，计算机科学，牙科，生物学）。我们介绍了两项研究任务，它们被设计为对AI代理商的垫脚石，这些阶梯可以解释（自动为演讲演示字幕），并说明（综合视觉图形以伴随口语解释）教育内容。我们提供手动注释，以帮助执行这两项研究任务并评估其最新模型。比较基线和人类学生的表现，我们发现当前模型在（1）幻灯片和口语文本之间的较弱的跨模式对齐中挣扎，（2）学习新颖的视觉介质，（3）技术语言和（4）（4）远程序列。为了解决这个问题，我们还引入了Polyvilt，这是一种多模式变压器，经过多种模式的学习损失，比目前的方法更有效。最后，我们阐明了对教育演示的多模式理解的挑战和机遇。
translated by 谷歌翻译
医疗编码是一项复杂的任务，需要将超过72,000个ICD代码的子集分配给患者的笔记。对这些任务的现代自然语言处理方法已受到输出空间的输入和大小的长度挑战。我们将模型输入限制在文档中发现的医疗实体周围的一个小窗口中。从这些本地上下文中，我们构建了ICD代码和实体的上下文化表示，并汇总这些表示形式以形成文档级预测。与现有的方法相反，该方法使用使用大小或训练中的代码固定的表示形式，我们通过用本地上下文编码代码描述来表示ICD代码。我们讨论适合在实践中部署编码系统的指标。我们表明，我们的方法优于标准和可部署措施的现有方法，包括在稀有和看不见的代码上的性能。
translated by 谷歌翻译
对于现实世界的机器学习系统，分发（O.O.D.）的概括仍然是一个关键挑战。我们描述了O.O.D.的方法通过培训，概括鼓励模型仅保留网络中的功能，这些功能在多个培训领域都充分利用。我们的方法将两个互补的神经元级正则化剂与网络上的概率可区分二进制掩码相结合，以提取一个模块化子网络，从而实现更好的O.O.D.性能比原始网络。两个基准数据集的初步评估证实了我们方法的承诺。
translated by 谷歌翻译
预期观众对某些文本的反应是社会的几个方面不可或缺的，包括政治，研究和商业行业。情感分析（SA）是一种有用的自然语言处理（NLP）技术，它利用词汇/统计和深度学习方法来确定不同尺寸的文本是否表现出正面，负面或中立的情绪。但是，目前缺乏工具来分析独立文本的组并从整体中提取主要情感。因此，当前的论文提出了一种新型算法，称为多层推文分析仪（MLTA），该算法使用多层网络（MLN）以图形方式对社交媒体文本进行了图形方式，以便更好地编码跨越独立的推文集的关系。与其他表示方法相比，图结构能够捕获复杂生态系统中有意义的关系。最先进的图形神经网络（GNN）用于从Tweet-MLN中提取信息，并根据提取的图形特征进行预测。结果表明，与标准的正面，负或中性相比，MLTA不仅可以从更大的可能情绪中预测，从而提供了更准确的情感，还允许对Twitter数据进行准确的组级预测。
translated by 谷歌翻译